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Abstract 


Il paper presenta e mette a confronto le esperienze di rilievo digitale e modellazione 3D condotte per 
tre grandi teatri europei: il Konzerthaus di Berlino (DE), il Teatro del Maggio Musicale Fiorentino a Firen- 
ze (IT) e il Teatro dell'Opera e del Balletto di Leopoli (UA), i cui risultati rientrano all'interno delle attività 
del progetto europeo AURA - Auralisation of acoustic heritage sites using Augmented and Virtual Reality, 
cofinanziato dal 2021 dal programma Europa Creativa. 
La ricerca ha previsto lo sviluppo di una metodologia spendibile e applicabile su scala europea, finalizzata 
alla creazione di affidabili ambienti virtuali multisensoriali per supportare e incoraggiare nuove opportu- 
nità di fruizione e diffusione del Patrimonio Musicale per le Industrie Culturali e Creative (ICC). 

Il suo sviluppo si è basato su diverse modalità di modellazione 3D dei tre casi studio - differenti sul piano 
storico, artistico e architettonico - supportate da rilievi digitali reality-based e classificazioni semantiche 
degli elementi presenti e dei rispettivi materiali, al fine di studiarne le caratteristiche acustiche ed im- 
| 


plementarne i risultati all'interno di processi di auralizzazione, una tecnica per ricreare ambienti sonori 


virtuali rispondenti all'acustica del luogo reale. 
| progetto, infine, attraverso la creazione di queste esperienze immersive inVR, mira ad indagare la re- 
ciproca influenza tra la visualizzazione dello spazio architettonico e l'auralizzazione del paesaggio acustico 
e come queste condizionano la percezione all'interno dell'ambiente virtuale. 
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Fig. 01. Il Progetto 
Europeo AURA, la sua 
partnership e i tre casi 
studio: il Konzerthaus di 
Berlino (DE) (© Felix 
Lochner Sichtkreis), il 
Teatro del Maggio 
Fiorentino a Firenze (IT) 
(© Michele Monasta), e 
il Teatro dell'Opera e del 
Balletto di Leopoli (UA) 
(© Ruslan Lytvyn) 


Introduzione 


Le Industrie Culturali e Creative (ICC) sempre più si orientano verso l'implementazione di 
moderne tecnologie per esplorare nuovi orizzonti commerciali e attrarre nuovo pubblico 
[Bertocci et al. 2021]. Questa spinta è stata accelerata negli ultimi due anni dalla pandemia 
di COVID-19 che ha evidenziato l'urgenza di sviluppare proposte alternative per la fruizione 
del Patrimonio Artistico e Culturale. 

Lo studio in questione fa parte del progetto AURA - Auralisation of Acoustic Heritage Sites 
Using Augmented and Virtual Reality, cofinanziato dal 2021 dal bando Europa Creativa, il cui 
obiettivo prevede di esplorare il potenziale dell'auralizzazione — una tecnica che consente di 
simulare l'acustica di un determinato luogo all'interno di modelli [Kleiner et al. 1993] — co- 
niugandola con le rappresentazioni visive del mondo virtuale, al fine di creare un'esperienza 
multisensoriale che rispecchi l'aspetto e l'acustica del luogo reale (fig. 01). 
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La tematica dell'acustica è infatti sempre più dibattuta anche nell'ambito della documen- 
tazione e della salvaguardia del patrimonio culturale. 

Nel 2017 l'UNESCO introduce il documento “The importance of sound in today's wor- 
Id: promoting best practices” [UNESCO 2017], evidenziando come il paesaggio sonoro 
dei luoghi esistenti o storici - l'insieme dei suoni, naturali e artificiali, che caratterizzano 
un determinato luogo - meriti riflessione, conservazione e studio scientifico [Katz et al. 
2020]. 

Queste caratteristiche acustiche mutano nel tempo e contribuiscono a strutturare la 
memoria storica di un luogo, rivestendo un ruolo fondamentale nella percezione e nella 
fruizione dell'ambiente costruito. 

L'acustica di un'architettura è infatti una conseguenza immateriale della sua costruzione, 
dei materiali utilizzati e del sistema di arredo, che costituiscono gli aspetti tangibili del 
patrimonio e che ne condiziona le scelte progettuali. 
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Per raggiungere l'obiettivo di AURA sono stati così esaminati tre emblematici casi 
studio a livello europeo - il Konzerthaus di Berlino (DE), il Teatro del Maggio Musicale 
Fiorentino a Firenze (IT) e il Teatro dell'Opera e del Balletto di Leopoli (UA) - per 
ognuno dei quali è stata concepita un'appropriata metodologia dedicata alla digitalizza- 
zione e ricostruzione virtuale, con il fine di ottenere attendibili asset su cui impostare 
i successivi processi di auralizzazione e, a seguito di questi, sviluppare modelli 3D mul- 
tisensoriali, affidabili e performanti sia in termini di resa grafica e fruizione virtuale, sia 


in termini di acustica. 


Il workflow metodologico 


Il presente paper illustra le fasi metodologiche preliminari affrontate nel progetto 
AURA in riferimento alle attività di rilievo digitale e modellazione 3D dei tre casi stu- 
io (tab. OI). 
In particolare, il workflow metodologico condotto ha previsto un'iniziale fase di rilievo 
digitale mediante TLS, necessaria sia per assicurare una base metrica affidabile su cui 
elaborare la modellazione 3D delle sale principali, sia per ottenere una rappresenta- 
zione altamente descrittiva dello stato attuale degli edifici e dei loro ambienti interni. 
In contemporanea a questa, sono state sviluppate una suddivisione semantica degli 
elementi e una classificazione dei corrispettivi materiali costruttivi, sulla base delle 
quali è stata portata avanti un'indagine sui valori relativi ai parametri acustici dei ri- 
spettivi materiali presenti [|], al fine di creare un database acustico parametrico e 
debitamente codificato a supporto delle successive procedure di auralizzazione. 
Quest'ultime, come anche tutte le altre operazioni di virtualizzazione, sono state svi- 
luppate sfruttando le molteplici potenzialità offerte dal software Unreal Engine. 
Questa piattaforma permette infatti, mediante specifici plugin [2], sia l'interazione 
tra diverse tipologie di asset, quali modelli 3D texturizzati e nuvole di punti colorate, 
allo scopo di simulare e ottimizzare l'ArchViz degli ambienti, sia la loro auralizzazione, 
attraverso l'impostazione di sorgenti musicali e materiali fonici associati ai valori dei 
parametri acustici indagati e alle rispettive superfici dei modelli 3D importati. 

A scopo esemplificativo di questo workflow operativo comune ai tre casi, viene di 
seguito esposto per ognuno di questi un aspetto metodologico specifico affrontato 
durante questa esperienza di ricerca, concentrandosi in particolare sulle attività di 
rilievo digitale, modellazione 3D e interazione virtuale tra i vari asset elaborati, ovvero 


su tutte quelle operazioni propedeutiche ai processi di auralizzazione. 


en 


Il rilievo digitale del Konzerthaus di Berlino 


| Konzerthaus di Berlino è un edificio in stile neoclassico originariamente costruito su 
progetto dell'architetto Karl Friederich Schinkel sul sito del Teatro Nazionale di Carl 
Gotthard Langhans, distrutto da un incendio nel 1817. 

Nasce come teatro di prosa nel centro di Gendarmenmarkt, un'ampia piazza del quar- 
tiere Mitte caratterizzata dalla presenza di due chiese simmetriche, il Deutcher Dom e 
il Franzòsischer Dom. 

Distrutto dai bombardamenti durante la Seconda Guerra Mondiale, l'edificio fu rico- 
struito e riaperto solo nel 1984 come sala da concerti. Il rifacimento novecentesco ha 
mantenuto fedeli i prospetti esterni ma ha alterato significativamente gli ambienti interni, 
con la scomparsa della sala da teatro all'italiana, sostituita da una copia ampliata di quello 
che era il precedente auditorium [Steffens 2004]. 

Le attività di documentazione, svolte a settembre 2021, sono state portate avanti con 
un laser-scanner Z+F 5016H per gli esterni, la piazza Gendarmenmarkt, il foyer e la 
sala principale, e con un Faro Focus M70 per i vani scala e le sale laterali, acquisendo 


un totale di circa 500 scansioni a colori (fig. 02). 
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Tab. 01. Workflow 
metodologico delle 
attività svolte per ogni 
caso studio 


DIGITAL SURVEY 


ACQUISITION 


PROCESSING 


RESULTS 


3D MODELING 


PRELIMINARY PHASE 


RECONSTRUCTION 


INTERACTION 


PRELIMINARY PHASE 


ASSETS INTE- 
RACTION 


AURALIZATION 


PRELIMINARY PHASE 


AURALIZATION 
PHASE 


VIRTUALIZATION 


VR APPLICATION 


KHB 


MAG 


LEO 


int ext 


int 


ext 


int 


ext 


RGB TLS digital survey 
SfM photogrammetric survey 
On-site study on acoustic parameters 


On-site photographic survey for materials sampling 


Scans registration 


SfM photogrammetric processes 


RGB range-based point cloud 
RGB image-based point cloud 
2D CAD graphical drawings 


Elements semantic subdivison 
Materials classification 


Parametric & coded acoustic database 


Morphological transformations on existing assets 


NURBS 3D modeling processes 


Texturing processes 


Decimation of RGB point clouds 


TLS RGB point cloud + SfM RGB point clouds + 3D 
model 


Creation and optimization of the virtual environment 


Surfaces implementation of acoustic parameters values 


Importing musicists avatars 


Importing and implementation of audio anechoic sources 


Setting of specific interactive hotspots 


Spatialiation and acustic simulation 


Creation of a multisensorial immersive experience 
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La grande mole di dati ottenuta dalla campagna di rilievo laser-scanner è stata successivamen 
elaborata all'interno del software Leica Cyclone 2020, mediante il quale è stata portata avanti la 
registrazione e la verifica di affidabilità dell'allineamento delle nuvole di punti. La porzione di nu- 
vola di punti relativa alla sala principale è stata unificata, esportata, decimata e, successivamente, è 
diventata il supporto metrico per l'adattamento dimensionale del modello 3D (fig, 03A). Infatti, 
in qualità di partner del progetto AURA, l'istituzione del Konzerthaus ha messo a disposizione un 
modello 3D texturizzato della sala principale, elaborato precedentemente per un altro progetto 
fig. 03B). Tuttavia, a seguito di specifiche analisi morfologiche condotte, è emerso che questo 
modello non rispecchiava metricamente | reali aspetti dimensionali del complesso, rendendo 
di fatto necessarie alcune modifiche morfologiche basate sulla più attendibile nuvola di punti. II 
modello originale della sala è stato così ridimensionato tramite specifiche operazioni di trasfor- 
mazione morfologica e riferito al sistema di coordinate impostato per la nuvola di punti globale, 
in modo da poterlo integrare all'interno del contesto ambientale della piazza (fig. 03C). 


Fig. 02. Vista panoramica 
della nuvola di punti 

a colori dell'ambiente 
esterno del Konzerthaus 
di Berlino 


Successivamente, come vedremo anche per gli altri casi, è stata elaborata una classificazione 
semantica degli elementi presenti nella sala principale e per ciascuno di questi è stato asse- 
gnato un materiale diverso, allo scopo di facilitare l'associazione dei rispettivi valori acustici 
per lo sviluppo dei successivi processi di auralizzazione (fig. 03D). 


La modellazione 3D del teatro del Maggio Musicale Fiorentino 


Il Teatro del Maggio Musicale Fiorentino, ideato dall'architetto Paolo Desideri dello studio 
ABDR e inaugurato a dicembre 201 |, rappresenta uno dei più rilevanti interventi progettuali 
contemporanei nella scena architettonica fiorentina. AI suo interno ospita, oltre a numerose 
sale minori, tre ampi luoghi teatrali: un auditorium di recente apertura, una cavea all'aperto 
e la sala principale del teatro dell'opera, racchiusa all'interno di un volume stereometrico a 
forma di ‘ferro di cavallo” [Reinhold, Conta 2012]. La fase di documentazione morfologica 
del complesso è stata portata avanti da gennaio 2021 e ha riguardato l'acquisizione dei suoi 
dati geometrici e cromatici mediante due diversi TLS, ottenendo rispettivamente un totale di 


180 scansioni a colori con uno Z+F 5016H e 120 in B/N con un Faro Focus M70. 
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Fig. 03. Elaborazioni 
digitali svolte per la 
virtualizzazione del caso 
studio del Konzerthaus 
di Berlino 
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Queste hanno poi subito il medesimo processo di elaborazione descritto preceden- 
temente, dal quale è stata ottenuta una nuvola di punti globale che è divenuta sia la base 
metrica per le fasi di restituzione grafica e modellazione 3D della sala principale (fig. 
05A), sia il background ambientale per la virtualizzazione delle aree esterne a questa. 
L'elaborazione tridimensionale è stata condotta all'interno del software Rhinoceros, mediante 
il quale, sfruttando le potenzialità della modellazione NURBS, è stato realizzato il modello 3D 
della sala principale e dei suoi elementi, basato su elaborati 2D restituiti dai dati range-based 
e, per alcune geometrie complesse, direttamente su porzioni di nuvola di punti decimata (fig. 
05B). Come esposto precedentemente, le operazioni di modellazione sono state condotte 
riferendosi ad una suddivisione semantica e materica delle componenti architettoniche presen- 
ti, catalogandole in categorie tipologiche e associandone materiali virtuali codificati (fig, 050). 
Questi hanno così permesso di creare un database su cui riportare i risultati delle indagini 
acustiche condotte sui valori dei parametri sonori da associare alle varie superfici (fig. O5E) 
[Pompoli, Prodi 2000]. Da questo punto di vista è stata ritenuta di grande importanza, oltre 
alla Modellazione degli elementi architettonici della sala, anche quella dei sistemi dei riflettori 
acustici, come i pannelli per lo scattering o le tende acustiche, e degli elementi di arredo, come 
e poltrone, la cui ampia presenza (oltre |700) è estremamente rilevante nello studio acustico 
della sala, e di conseguenza, nei processi di auralizzazione (figg. 05C, 05D). Infine, prima di pro- 
cedere a questi e alla virtualizzazione immersiva su Unreal Engine, sono state condotte campa- 
gne fotografiche finalizzate al campionamento dei reali materiali presenti nella sala, per ognuno 
dei quali è stata creata una texture fotorealistica con cui, all'interno del software Twinmotion, 
sono state mappate tutte le superfici del modello 3D, ottimizzandone la resa grafica per 
'ArchViz (figg. 04, O5F) [Bertocci et al. 2022]. 


L'interazione tra modelli 3D, dati image-based e dati range-based RGB per la fruizione 
virtuale del Teatro dell’Opera e del Balletto di Leopoli 


Il Teatro dell'Opera e del Balletto di Leopoli, in Ucraina, venne edificato alla fine del XIX se- 
colo a seguito di un grande concorso indetto dalla città, all'epoca capitale austro-ungarica del- 
la Galizia. Il progetto vincitore risultò essere quello presentato da Zygmunt Gorgolewski, che 
propose la collocazione del teatro proprio al centro della città, nonostante l'impedimento 
ambientale del fiume Poltva, prevedendone l'interramento nell'area di edificazione del nuovo 
complesso e predisponendo per questo uno tra i primi esempi in Europa di fondamenta in 
cemento armato. || teatro, costruito in stile neobarocco con alcuni elementi Art Nouveau, 
e arricchito da stucchi, statue e dipinti ad olio, ospita un'ampia sala all'italiana altamente de- 
corata e conclude, all'esterno, un lungo viale alberato che negli anni è divenuto il fulcro del 
centro storico, oggi sotto protezione UNESCO [Sajo, 2013]. La fase di rilievo digitale è stata 
condotta in due diverse tranches temporali: la prima ad inizio 202 1, in cui sono stati acquisiti 


Fig. 04. Vista panoramica 
del modello 3D texturiz- 
zato della sala principale 
del caso studio del Teatro 
del Maggio Musicale 
Fiorentino 
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Fig. 05. Panoramica delle 
elaborazioni digitali svolte 
per la virtualizzazione del 
caso studio del Teatro 
del Maggio Musicale 
Fiorentino 
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i dati geometrici interni della sala, del foyer e dei corridoi con 160 scansioni in B/N mediante 
un TLS Leica C10, e quelli cromatici attraverso rilievi fotogrammetrici SM (fig. 07B); mentre 
nella seconda, condotta a fine 2021, sono state acquisite mediante un Faro Focus M70 altre 
160 scansioni a colori descrittive delle aree esterne e, nuovamente, degli ambienti interni, 
al fine di garantire una copertura omogenea globale dei dati range-based RGB (figg. 07A, 
07C).| dati acquisiti sono stati poi processati secondo metodi ampiamente descritti, sviluppan- 
do nuvole di punti a diversi livelli di dettaglio metrico e grafico (figg. 07A, 07B, 07C). Quella in 
B/N della sala, geometricamente più definita, è stata infatti sfruttata per la realizzazione di un 
modello NURBS non texturizzato dell'ambiente teatrale, anch'esso caratterizzato dalle suddi- 
visioni semantiche e materiche necessarie per l'auralizzazione (fig.07D). Quelle dotate di dati 
RGB invece, sviluppate dalla fotogrammetria e dal secondo rilievo TLS, sono state dapprima 
integrate fra loro per compensare eventuali coni d'ombra, e successivamente, sottoposte 
ad operazioni di pulitura del dato, al fine di ottenere una nuvola di punti globale a colori che 
simulasse visivamente l'ambiente reale. Per questo progetto di virtualizzazione immersiva è 
stato così deciso di sperimentare l'interazione tra queste due tipologie di asset, inserendo 
all'interno dello stesso ambiente virtuale di Unreal Engine - e secondo le medesime coordina- 
te - sia il modello 3D dotato di superfici associate ai parametri acustici di ogni materiale, sia 
la nuvola di punti a colori dell'intero complesso (fig. 07E). 

| due asset 3D, sovrapposti l'uno con l'altro e reso il primo invisibile durante l'esperienza di 
VR, hanno così garantito sia la simulazione acustica ambientale sviluppata dall'auralizzazione 
del modello 3D, sia la resa grafica realistica del complesso teatrale e del suo contesto grazie 
alla nuvola di punti colorata (figg. 06, 07F) [Bertocci et al. 2022]. 


Conclusioni 


Gli sviluppi nell'ambito del rilievo laser-scanner permettono oggi di elaborare dati sempre 
più affidabili e altamente descrittivi grazie all'integrazione di camere ad alta risoluzione che 
acquisiscono il dato colore RGB, istituendo nuvole di punti 3D che possono essere fruite in 
ambiente virtuale, sfruttando a pieno la grande mole di dati acquisita [Cioli, Ricci 2020]. 

Il progetto AURA mira, infatti, a realizzare modelli multisensoriali, affidabili e performanti sia 
in termini di resa grafica e fruizione virtuale, sia in termini di acustica, sfruttando l'integrazio- 
ne delle nuvole di punti all'interno di motori grafici come Unreal Engine. 
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Fig. 07. Panoramica delle 
elaborazioni digitali svolte 
per la virtualizzazione del 
caso studio del Teatro 
dell'Opera e del Balletto 
di Leopoli 


Seguendo questi step metodologici sono state così ottenute tre applicazioni VR che per- 
mettono all'utente di navigare la nuvola di punti degli esterni del teatro e del suo foyer, per 
poi entrare nello spazio modellato della sala principale, dove scegliendo liberamente una 
posizione potrà sperimentare un'esperienza percettivamente multisensoriale, associando la 
rappresentazione visuale immersiva ad una simulazione virtuale acustica tangibile. Attraverso 
l'integrazione tra l'auralizzazione e un'affidabile e realistica esperienza visiva, basata su dati 
acquisiti mediante tecniche integrate di rilievo digitale TLS e fotogrammetrico Structure from 
Motion (SfM), è possibile indagare la reciproca influenza che gli stimoli visivi ed acustici hanno 
nella percezione dell'esperienza virtuale. 
La finalità del progetto è quello di sviluppare nuove opportunità di fruizione attraverso il 
coinvolgimento di utenti esperti e non esperti, promuovendo l'innovazione e la collaborazio- 
ne intersettoriale per costruire un nuovo pubblico, modelli di business, pratiche di perfor 
mance ed esperienze coinvolgenti [Bertocci et al. 2021]. 


Note 


[I] | parametri acustici considerati per l'auralizzazione sono tre: le frequenze di assorbimento e trasmissione sonora (basse, 
medie e alte) e lo scattering. 


[2] Lidar Point Cloud e Valve Steam Audio 
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tation of the sound 
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The representation of sound. 
Digital survey and 3D modeling 
for the multisensory virtualization 
of three major European theaters 


Andrea 


Lumini 


Federico Cioli 


Abstract 


The paper presents and compares the digital survey and 3D modeling experiences carried out for 
three major European theaters: the Konzerthaus in Berlin (DE), the Teatro del Maggio Musicale Fior- 
orence (IT) and the Opera and Ballet Theatre in Lviv (UA), whose results are part of the 
activities of the European project AURA - Auralisation of acoustic heritage sites using Augmented and 


entino in FI 


Virtual Reality, co-funded since 2021 by the Creative Europe program. 
The research has provided the development of a spendable and applicable methodology on a Euro- 


pean scale 
age new o 


in terms o 
classificatio 
characterisi 


Finally the 


, almed at creating rel 


iable multisensory virtual environments to support and encour- 
pportunities for the fruition and dissemination of Acoustic Heritage for Cultural and 
Creative Industries (CCI). 

Its development was based on dif 


ferent 3D modeling approaches to the three case studies - different 
f history, art and architecture - supported by reality-based digital surveys and semantic 


ns of the elements present and their respective materials, in order to study their acoustic 
tics and implement the results within auralization processes, a technique for recreating 
virtual sound environments corresponding to the acoustics of the real place. 
project, through the creation of these VR immersive experiences, alms to investigate the 


mutual influence between the visualization ofthe architectural space and the auralization of the acous- 
tic landscape and how they affect the perception within the virtual environment. 


Keywords 


Auralization, virtual reality, AURA, acoustic heritage, Creative Europe 


Topic 
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Fig. O1.The 


European 


Project AURA, its 


partnership 


and the 


three case studies: the 


Konzerthau 


(DE) (© Fe 


s in Berlin 
ix Léchner 


Sichtkreis), the Teatro 


del Maggio 


Fiorentino in 


Florence (IT) (© Michele 
Monasta), and the Opera 


and Ballet TI 


heatre in Lviv 


(UA) (© Ruslan Lytvyn) 


Introduction 


The Cultural and Creative Industries (CCI) are increasingly moving towards the implemen- 
tation of modern technologies to explore new commercial horizons and attract new audi- 
ences [Bertocci et al. 2021]. This impulse has been accelerated in the last two years by the 
pandemic of COVID-19, which has highlighted the urgency of developing alternative propos- 
als for the fruition of Artistic and Cultural Heritage. 

This study is part of the project AURA - Auralisation of Acoustic Heritage Sites Using Augmented 
and Virtual Reality, co-funded since 2021 by the Creative Europe call, whose objective is to 
explore the potential of auralisation - a technique to simulate the acoustics of a given place 
within models [Kleiner et al. 1993] - by combining it with visual representations of the virtual 
world, in order to create a multisensory experience that reflects the appearance and acous- 
tics of the actual place (fig. 01). 
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Indeed, the topic of acoustics is also increasingly debated inthe context of cultural heritage 
documentation and preservation. In 2017, UNESCO introduced the document “The impor- 
tance of sound in today’s world: promoting best practices’ [UNESCO 2017], highlighting 
how the soundscape of existing or historical places - the set of sounds, natural and artificial, 
that characterize a given place - deserves reflection, preservation, and scientific study [Katz 
et al. 2020]. 

These acoustic characteristics change over time and contribute to structuring the historical 
memory of a place, playing a fundamental role in the perception and enjoyment of the built 
environment. 

The acoustics of an architecture is in fact an immaterial consequence of its construction, 
the materials used and the furnishing system, which constitute the tangible aspects of the 
heritage and which condition the design choices. 

To reach AURAS goal, three emblematic European case studies were examined - the 
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Konzerthaus in Berlin (DE), the Teatro del Maggio Musicale Fiorentino in Florence (IT) and 
the Opera and Ballet Theater in Lviv (UA) - for each of which an appropriate methodology 
dedicated to digitization and virtual reconstruction was conceived, to obtain reliable assets 
on which to set the subsequent auralization processes and, following these, to develop mul- 
ti-sensory 3D models, reliable and performing both in terms of graphic rendering and virtual 
fruition, and in terms of acoustics. 


The methodological workflow 


This paper illustrates the preliminary methodological steps addressed in the AURA project 
with reference to the digital survey and 3D modeling activities of the three case studies (Tab. 
Ol). 
In particular, the methodological workflow included an initial phase aimed at the digital sur- 
vey through TLS, which was necessary both to ensure a reliable metric basis for the elabo- 
ration of the 3D modeling of the main halls, and to obtain a highly descriptive representation 
of the current state of the buildings and their interiors. 
At the same time, a semantic subdivision of the elements and a classification of the related 
building materials were developed, based on which an investigation was carried out on the 
values of the acoustic parameters of the respective materials present [1], in order to create 
a parametric and properly coded acoustic database to support the subsequent auralization 
procedures. 
The latter and all other virtualization operations have been developed by exploiting the 
multiple potentialities offered by the Unreal Engine software. 

This platform allows, through specific plugins [2], both the interaction between different 
types of assets, such as textured 3D models and colored point clouds, to simulate and op- 
timize the ArchViz of the environments, and their auralization, through the setting of music 
sources and sound materials associated to the values of the acoustic parameters investigated 
and to the respective surfaces of the imported 3D models. 
To exemplify this operational workflow common to the three cases, a specific methodolog- 
ical aspect of each of these cases is presented below, addressed during this research expe- 
rience, focusing in particular on the activities of the digital survey, 3D modeling and virtual 
interaction between the various assets processed, i. e. all those operations preparatory to 
the processes of auralization. 


The digital survey of the Berlin Konzerthaus 


The Berlin Konzerthaus is a neoclassical building initially built according to the design of architect Karl 
Friederich Schinkel on the site of the National Theater of Carl Gotthard Langhans, destroyed by a 
fire in 1817. tt was built as a drama theater in the center of Gendarmenmarkt, a large square in the 
Mitte district characterized by the presence of two symmetrical churches, the Deutscher Dom and 
the Französischer Dom. Destroyed by bombing during World War Il, the building was rebuilt and 
reopened only in 1984 as a concert hall. The twentieth-century renovation faithfully retained the 
exterior elevations but significantly altered the interiors, with the disappearance of the Italian-style 
theater hall, replaced by an enlarged copy of the former auditorium [Steffens 2004]. 

The documentation activities, carried out in September 2021, were carried out with a Z+F 
501 6H laser-scanner for the exteriors, the Gendarmenmarkt square, the foyer and the main 
hall, and with a Faro Focus M70 for the stairwells and the side halls, acquiring a total of about 
500 color scans (fig. 02). 

The large amount of data obtained from the laser-scanner survey campaign was subsequent- 
ly processed within the Leica Cyclone 2020 software. The registration and reliability verifi- 
cation of the point cloud alignment was carried out. The portion of the point cloud related 
to the main hall was unified, exported, decimated and, subsequently, became the metric 
support for the dimensional matching of the 3D model (fig. 03A). 
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Tab. 01. Methodological 
workflow of the activities 
carried out for each case 
study 


DIGITAL SURVEY 


ACQUISITION 


PROCESSING 


RESULTS 


3D MODELING 


PRELIMINARY PHASE 


RECONSTRUCTION 


INTERACTION 


PRELIMINARY PHASE 


ASSETS INTE- 
RACTION 


AURALIZATION 


PRELIMINARY PHASE 


AURALIZATION 
PHASE 


VIRTUALIZATION 


VR APPLICATION 


KHB 


MAG 


LEO 


int ext 


int 


ext 


int 


ext 


RGB TLS digital survey 
SfM photogrammetric survey 
On-site study on acoustic parameters 


On-site photographic survey for materials sampling 


Scans registration 


SfM photogrammetric processes 


RGB range-based point cloud 
RGB image-based point cloud 
2D CAD graphical drawings 


Elements semantic subdivison 
Materials classification 


Parametric & coded acoustic database 


Morphological transformations on existing assets 


NURBS 3D modeling processes 


Texturing processes 


Decimation of RGB point clouds 


TLS RGB point cloud + SfM RGB point clouds + 3D 
model 


Creation and optimization of the virtual environment 


Surfaces implementation of acoustic parameters values 


Importing musicists avatars 


Importing and implementation of audio anechoic sources 


Setting of specific interactive hotspots 


Spatialiation and acustic simulation 


Creation of a multisensorial immersive experience 
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mation operatio 
integrate it withi 
Subsequently, as 


Fig. 02. Panoramic view of 
the colored point cloud 
of the exterior area of 
the Berlin Konzerthaus 


n fact, as a partner of the AURA project, the Konzerthaus institution provided a textured 
3D model of the main hall, previously elaborated for another project (fig. 03B). 

owever following specific morphological analyses conducted, it turned out that this model 
did not metrically reflect the real dimensional aspects of the complex, making some mor- 
phological modifications based on the more reliable point cloud necessary. 

The original model of the hall has been resized through specific morphological transfor- 


ns and referred to the coordinate system set for the global point cloud to 
n the environmental context of the square (fig. 03C). 
we will see also for the other cases, a semantic classification ofthe elements 


present in the main hall was elaborated and for each of them a different material was as- 
signed, in order to facilitate the association of the respective acoustic values for the develop- 
ment of the subsequent auralization processes (fig. 03D). 


3D modeling of the Teatro del Maggio Musicale Fiorentino 


The Teatro del Maggio Musicale Fiorentino, designed by architect Paolo Desideri of ABDR 
studio and opened in December 201 |, represents one of the most relevant contemporary 
design initiatives in the Florentine architectural scene. Inside it hosts, in addition to numer 
ous smaller rooms, three large theatrical venues: a recently opened auditorium, an open-air 
cavea and the main hall of the opera house, enclosed within a stereometric volume in the 
shape of a“ horse-shoe” [Reinhold, Conta 2012]. 


The morpholog 


cal documentation phase of the complex has been carried out since January 


2021 and has involved acquiring its geometric and chromatic data through two different TLS, 


obtaining a tota 
M70 respective 


| of 180 color scans with a Z+F 5016H and 120 in B/W with a Faro Focus 
y. These then underwent the same process of elaboration described above, 


from which a global point cloud was obtained which became both the metric basis for the 


phases of graph 


ic restitution and 3D modeling of the main hall (fig. 05A), and the environ- 


mental background for the virtualization of the areas outside this one. 

The three-dimensional elaboration has been conducted within the Rhinoceros software, 
through which, exploiting the potentialities of NURBS modeling, the 3D model of the main 
hall and its elements has been realized, based on 2D elaborations returned by range-based 
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Fig. 03. Digital elabora- 

tions carried out for the 
virtualization of the Berlin i Pa $ I VI 
Konzerthaus case study ca subdivided model 
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Fig. 04. Panoramic view of 
the textured 3D model 
ofthe main hall of the Te- 
atro del Maggio Musicale 
Fiorentino case study 


data and, for some complex geometries, directly on portions of the decimated point cloud 
(fig. 05B). As previously stated, the modeling operations were conducted by referring to a 
semantic and material subdivision of the architectural components present, cataloging them 
into typological categories and associating them with codified virtual materials (fig. 05C). 
These have thus made it possible to create a database on which to report the results ofthe 
acoustic investigations carried out on the values ofthe sound parameters to be associated 
with the various surfaces (fig. 05E) [Pompoli, Prodi 2000]. 
From this point of view, it was considered very important, in addition to the modeling of 
the architectural elements of the room, also that of the acoustic reflector systems, such 
as scattering panels or acoustic curtains, and of the furniture elements, such as armchairs, 
whose wide presence (over | 700) is extremely relevant in the acoustic study of the room, 
and consequently, in the auralization processes (figs. 05C, 05D). 

Finally, before proceeding with these and the immersive virtualization on Unreal Engine, pho- 
tographic campaigns were conducted aimed at sampling the real materials present in the hall, 
for each of which a photorealistic texture was created, with which, within the Twinmotion 
software, all surfaces of the 3D model were mapped, optimizing their graphical rendering 
for ArchViz (figs. 04, 05F) [Bertocci et al. 2022]. 


The interaction between 3D models, image-based data and range-based RGB data for 
virtual fruition of the Lviv Opera and Ballet Theater 


The Opera and Ballet Theater in Lviv, Ukraine, was built at the end of the 19th century 
following a major competition held by the city, which at that time was the Austro-Hungarian 
capital of Galicia. The winning project was the one presented by Zygmunt Gorgolewski, who 
proposed the placement of the theater right in the center of the city, despite the environ- 
mental impediment of the Poltva River planning to bury it in the area of construction of 
the new complex and providing for this one of the first examples in Europe of reinforced 
concrete foundations. The theater, built in neo-baroque style with some Art Nouveau el- 
ements, and enriched with stuccos, statues and oil paintings, hosts a large highly decorated 
Italian-style hall and concludes, outside, a long tree-lined avenue that over the years has be- 
come the centerpiece of the historic center now under UNESCO protection [Sajo, 2013]. 
The digital survey phase was conducted in two different time tranches: the first at the be- 
ginning of 2021, in which the internal geometric data of the hall, foyer and corridors were 
acquired with 160 B&W scans using a Leica C10 TLS, and the chromatic ones through SfM 
photogrammetric surveys (fig. 07B); while in the second one, carried out at the end of 2021, 
another | 60 descriptive color scans of the external areas and, again, of the internal environ- 
ments were acquired using a Faro Focus M70, in order to guarantee a homogeneous global 
coverage of the range-based RGB data (figs.07A, 07C). 
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Fig. 05. Overview of 
the digital elaborations 
carried out for the vir- 
tualization of the Teatro 
del Maggio Musicale 
Fiorentino case study 
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Fig. 06. Panoramic view 
of the main hall of the 
Lviv case study describing 
the interaction between 
different virtual assets: 
colored point clouds 
developed from TLS and 
SfM acquisitions, and 3D 
models with surfaces 
subdivided by materials 
and implemented with 
the respective values of 
acoustic parameters 


The acquired data were then processed according to methods widely described, developing 
point clouds at different levels of metric and graphic detail (figs. O7A, 07B, 07C). The B&W 
one of the hall, geometrically more defined, was in fact, exploited for the realization of a 
non-textured NURBS model of the theatrical environment, also characterized by the seman- 
tic and material subdivisions necessary for the auralization (fig. 07D). 

The ones with RGB data instead, developed from the photogrammetry and the second 
TLS survey, were first integrated to compensate for any shadow cones, and subsequently, 
subjected to data cleaning operations to obtain a global color point cloud that visually sim- 
ulates the real environment. For this project of immersive virtualization it has been decided 
to experiment the interaction between these two typologies of assets, inserting inside the 
same virtual environment of Unreal Engine - and according to the same coordinates - both 
the 3D model with surfaces associated to the acoustic parameters of each material, and the 
colored point cloud of the whole complex (fig. 07E). The two 3D assets, overlapping each 
other and making the first one invisible during the VR experience, thus ensured both the 
environmental acoustic simulation developed by the auralization of the 3D model, and the 
realistic graphical rendering of the theater complex and its context thanks to the colored 
point cloud (figs. 06, 07F) [Bertocci et al. 2022]. 


Conclusions 


The developments in the field of laser-scanner survey allow today to process increasingly relia- 
ble and highly descriptive data thanks to the integration of high-resolution cameras that acquire 
RGB color data, establishing 3D point clouds that can be used in a virtual environment, fully 
exploiting the large amount of data acquired [Cioli, Ricci 2020]. The AURA project aims, in 
fact, to realize multisensory models, reliable and performing both in terms of graphic render- 
ing and virtual fruition, and in terms of acoustics, exploiting the integration of point clouds 
within graphics engines such as Unreal Engine. Following these methodological steps, three VR 
applications were thus obtained, allowing the user to navigate the point cloud of the exteriors 
of the theater and its foyer and then enter the modeled space of the main hall, where freely 
choosing a position he/she can experience a perceptually multisensory experience, associat- 
ing the immersive visual representation to a tangible virtual acoustic simulation. Through the 
integration between auralization and a reliable and realistic visual experience, based on data 


264 | 


Q A | foyer RGB point cloud from TLS main hall photogrammetric SfM survey | B Q 


fe gui 


SEAT SE-A-wod-08 SE-B-fab-0 


Fig. 07. Overview of digi- 
tal processing carried out 
for the virtualization of 
the Lviv Opera and Ballet 
Theatre case study 


acquired through integrated TLS digital and photogrammetric Structure from Motion (SM) 
survey techniques, it is possible to investigate the mutual influence that visual and acoustic 
stimuli have on the perception of the virtual experience. The goal of the project is to devel- 
op new opportunities for fruition through the engagement of expert and non-expert users, 
promoting innovation and cross-sector collaboration to build new audiences, business Models, 
performance practices, and engaging experiences [Bertocci et al. 2021]. 


Notes 


[I] The acoustic parameters considered for auralization are three: sound absorption and transmission frequencies (low, medi- 
um and high) and scattering. 


[2] Lidar Point Cloud and Valve Steam Audio 


Credits 
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AURA is a project co-funded by the Creative Europe program and led by the Berliner Gesellschaft für internationale Zusam- 
menarbeit mbH (BGZ), in collaboration with German academic partners from the Hochschule für Technik und Wirtschaft in 
Berlin (HTWV), Italians from the Departments of Architecture (DIDA) and Industrial Engineering (DIEF) of the University of 
Florence (UNIFI) and Ukrainians from the Lviv Polytechnic National University (LPNU), supported by musical institutions such 
as the Konzerthaus in Berlin and marketing partners such as Vie en. ro.se. Ingegneria Srl of Florence, the Lviv Tourist Develop- 
ment Center of Lviv (UA) and Magnetic One of Ternopil (UA). 


For more information, see the European project website: https://www.aura-project.eu. 


Finally, the credits of the activities carried out by the respective technical partners of the AURA project are briefly presented. 
The HTW team, coordinated by Prof. J. Sieck, was responsible for the auralization of the models and the development of apps 
for their virtualization and use. The team of UNIFI-DIDA, coordinated by Prof. S. Bertocci, has carried out the activities of digital 
survey and data processing, as well as the 3D modeling of the theaters. The UNIFI-DIEF team, coordinated by Prof.M. Carfagni, 
has dealt with the preparatory investigation for the auralization of the values to be assigned to the acoustic parameters. The 
LPNU team, coordinated by Prof. |. Savchyn, carried out the first digital survey activities, TLS and SfM, of the Lviv case study. 
The Konzerthaus musical institution provided the textured model of the Berlin theater. 
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